Gia cảnh của Triệu thị cùng chị gái Triệu Phi Yến hết sức bần hàn, cha mẹ ruột vốn là những nô lệ phục dịch trong phủ quý tộc tên Triệu Lâm (趙臨), có chỗ lại nói chính Triệu Lâm là cha ruột. Sử sách không ghi tên thật của bà, tiểu thuyết Phi Yến ngoại truyện ghi bổn danh [Hợp Đức; 合德], từ đó về sau người đời đều cho là tên thật[1]. Theo sử ký ghi lại, Triệu thị cùng chị gái khi đến tuổi trưởng thành được tuyển vào phủ của Dương A công chúa (陽阿公主), tại đây họ được học làm ca nữ.

Trong tiểu thuyết "Phi Yến ngoại truyện", câu chuyện về 2 chị em là cả một truyền kỳ. Vợ của Giang Đô trung úy Triệu Mạn (赵曼), là Cô Tô quận chúa (姑苏郡主), cháu gái của Giang Đô vương, tư thông với gia nhân là Phùng Vạn Kim (冯万金), sinh ra 2 cô con gái, chính là chị em Triệu thị, sau đó Cô Tô quận chúa đem hai đứa bé này vứt bỏ, ba ngày sau Cô Tô quận chúa phát hiện cả 2 đều còn sống, tâm không đành lòng, lại đem các con ôm trở về, giao cho Phùng Vạn Kim nuôi dưỡng[2]. Sau đó Vạn Kim qua đời, Phùng gia suy bại mà từ Cô Tô lưu lạc đến Trường An, được gọi là Triệu Chủ Tử. Sau đó, nàng lấy tài nghệ thêu thùa mà lấy lòng Triệu Lâm, quan dịch nô hầu trong phủ Dương A công chúa, vì vậy được Triệu Lâm nhận làm con nuôi.

Trong Triệu Phi Yến biệt truyện (赵飞燕别传), một cuốn sách thời nhà Tống, hai chị em lưu lạc dân gian, từng phải làm giày rơm kiếm sống[3].